und es wurden immer mehr.
In der Ceph-Config ist osd_deep_scrub_interval per default so gesetzt dass ein deep-scrub mindestens alle 7 Tage läuft. Für ein Produktiv-System ist das auch ein sinnvoller Wert, für mein Setup wollte ich das jedoch erhöhen.
Also mit
# ceph config set osd osd_deep_scrub_interval 2419200
auf 4 Wochen erhöht - was auch von den OSD daemons korrekt gehandled wurde. Leider fingen damit Warnungen an. Am Ende stellte sich heraus, deep-scrub lief wirklich alle 4 Wochen, aber der Manager hat es nach wie vor alle 7 Tage erwartet.
Die Lösung war dann einfach. Config global setzen mit
# ceph config set global osd_deep_scrub_interval 2419200
und tadaaaa ...
# ceph health
HEALTH_OK
btw. ein Komando das ich bis dahin nicht kannte, jede config hat eine eingebaute Hilfe, für dieses Beispiel zB:
# ceph config help osd_deep_scrub_interval
osd_deep_scrub_interval - Deep scrub each PG (i.e., verify data checksums) at least this often
(float, advanced)
Default: 604800.000000
Can update at runtime: true
Services: [osd]